OPPO Reno 实现了锁屏语音唤醒,其背后的技术更耐人寻味
有了低功耗算法加持,手机语音助手不再那么鸡肋喽~
- shenzhenware -
北京时间 4 月 10 日下午,OPPO Reno 新机发布会举行,OPPO Reno 系列的第一款手机也正式揭开面纱。
除了全面无孔屏、10 倍混合光学变焦等这些设计和技术,Reno 所搭载的 OPPO 新一代语音助手 Breeno 也备受关注:它比以往都具备了更加智能、主动、贴心的能力,能在合适时候,提供恰到好处的服务,比你男友更了解你的生活起居。
比如,它会在你飞机登机提示登机口信息,会在电影开场时提醒你将手机调成静音模式,甚至帮你找到图片上衣服的购买链接……
值得称道的是,Breeno 的体贴还是全天候不断线的:不管任何时候,只要是开机,我只要对手机喊一句「小布小布/hey Breeno」,它会即刻响应。只要从声音中认出我是它的主人,它就会听我的命令播报天气、播放音乐,或者给朋友发个微信红包,所有操作一步即可到位。
更重要的是,这期间我完全不必碰手机去长按某个按键,甚至不必在百忙之中给手机进行面部/指纹解锁,简单到就像跟身边的一位朋友对话,一出声就打开了手机的话匣子。
这一革新的交互方式,大大的简化了过去启动手机语音助手的操作。这让我更相信,躺在手机的语音助手不再是一个鸡肋的存在,而且距离钢铁侠的 Jarvis 更近了一步。
是什么样的技术方案,让手机语音助手的问题得到了解决?
近年来,随着语音交互在各种设备上「遍地开花」,语音助手也成为各品牌新机的标配。对手机厂商来说,这不仅仅是为了增加一个宣传卖点,更重要的是背后商业策略层面的考量——为其 AIoT 生态的关键入口做准备。
如前面提到的,大部分手机语音助手的体验并不那么友好,导致用户使用频率普遍不高,这一问题也恰恰成为各厂商构建宏伟蓝图路上的一个「绊脚石」。
OPPO Reno 手机能够实现息屏唤醒语音助手,从本质来看,是解决了目前大部分手机的痛点,即语音助手时刻在线的功耗问题。
有了低功耗解决方案作为保障,语音助手可以在手机后台一直处于低功耗运行,确保能够聆听和被及时唤醒,同时确保不会给手机带来额外的运作负担。
事实上,能做到这样的手机公司 OPPO 也不是第一家。手机语音助手的先行者——苹果公司从 iPhone 5S 开始就加入一枚「协处理器」 M7,该芯片通过与低功耗算法适配,可确保手机在睡眠状态下持续监测用户运动状态。
直到 iPhone 6S 发布时,该系列更新至 M9,第一次实现了手机息屏状态下「Hey Siri」的直接语音唤醒功能。要知道,前几代 iPhone 只有在插电源的时候下才允许这样操作。
随着苹果同类型的方案应用在了 H1 芯片上,第二代 AirPods 也增加了语音唤醒 Siri 的功能,并与 iPhone 组成了业界的「王炸组合」。
那么,OPPO Reno 这一低功耗算法方案的技术原理是怎样的,又是如何实现低功耗算法与麦克风、DSP 处理器的软硬配合?我们从背后的「功臣」思必驰那里,得到了解答。
在前端信号处理、低功耗语音唤醒、声纹二次唤醒验证等前端技术,以及 APP + 云端的对话交互上,OPPO Reno 应用了思必驰的语音技术方案。
让手机实现锁屏状态下语音唤醒,技术原理是怎样的
具体而言,结合 OPPO Reno 手机语音助手的表现来看,思必驰的低功耗算法在设备端上实现的原理和步骤如下:
第 1 步:在息屏、锁屏状态下,手机处于待机状态,运行思必驰低功耗算法的 DSP 芯片检测到唤醒词时,产生中断信号。
第 2 步:主控芯收到唤醒指令,对唤醒词的音频数据做二次唤醒声纹验证。完成验证后,点亮屏幕,拉起语音助手,根据命令执行相应操作或调用相应的服务。
第 3 步:当声纹与原注册信息不匹配时,设备无法被唤醒。更换由注册过声纹信息的用户发号语音指令,才能唤醒语音助手。
也就是说,这一过程包含了一级低功耗唤醒,二级唤醒声纹验证,所以设备一直处于低功耗运行的状态,使得设备整体功耗更低。
值得一提的是,针对手机像智能音箱那样会同样存在「设备音乐声太大唤不醒」的问题,思必驰在该方案中融合了回声消除 AEC 算法,避免扬声器声音影响语音识别,从而实现更准确的唤醒。
以上这些还只是思必驰低功耗算法应用的其中一个方面,其实现还涉及思必驰的全链路语音技术。
与大部分手机语音助手类似,OPPO 语音助手 Breeno 在被唤醒后,可执行命令控制、技能这两类的操控,前者包括调整音量、手机亮度等操作,后者主要泛指电话、导航、音乐播放等服务。而这些服务的实现,均通过思必驰 DUI 开放平台定制,包括对话交互逻辑设计,技能定制等(导航、娱乐)。
基于思必驰与 OPPO 这两家平台的云端-云端的连接,语音交互和提供服务反馈的过程中,音频信号转化的需求信息会通过 OPPO 的 Breeno 云端平台传输到思必驰 DUI 平台,从而调用思必驰提供的云端语音技术服务,实现信号接收方和反馈方的无缝连接。
让低功耗算法技术落地,背后都经历了什么?
作为一家技术导向型公司,思必驰一直以来专注语音交互技术的研究,同时,将这些技术在产品端真正实现落地,是思必驰作为一个企业的使命。过去,思必驰的技术曾服务于阿里、腾讯、360、京东方、小米、海尔、长城、一汽大众等大客户。
△ 应用了思必驰语音解决方案的代表性产品
在与思必驰的交谈中,我们了解到,技术落地并不是一个与产品简单结合的过程,尤其软硬件的打磨程度和深度更关系到产品体验的好坏。
我们试图挖掘两家厂商之间合作背后的故事,思必驰智能穿戴产品业务负责人刘洪彬则用了一句话简单扼要的总结:
一方面,思必驰提供满足算力要求的低功耗算法,并将通过平台定制的服务打磨好,其中就包括更深入的二级命令操作,比如通过 Breeno 收发微信消息,这是苹果 Siri 目前都无法做到的。
△ Breeno 能帮你读取/发送微信消息,甚至还能发红包
另一方面,OPPO 将设备产生的数据分享给思必驰,包括用户在交互中产生数据、以及异常数据会同步推送到双方的后台。
而基于这些数据,思必驰就可以进行数据标注和模拟训练,产生新的声学模型,从而进一步优化 OPPO 手机的语音交互体验,为日后持续给用户提供产品体验升级打下良好的基础。
除手机之外,低功耗算法技术如何应用在耳机上?
除了手机之外,语音助手在手表、耳机、平板、翻译机等设备上的应用逐渐变得广泛,这些设备也对低功耗、随时待命的语音助手也提出了要求。
而思必驰打造这套低功耗算法的初衷就是将这一技术覆盖到更多的应用场景中,而不仅仅只是手机。
对于这套应用十分广泛的方案,思必驰也有自己坚持的原则:「我们不会去打造一个通用型的方案,因为每个垂直场景对应的服务需求不一样,而我们打磨的服务也会因此而变得更细分、深入。」
前不久,顺丰科技推出了辅助收派员处理日常收派件工作的蓝牙耳机「小丰」,该智能终端设备就应用了思必驰前端信号处理、低功耗唤醒、语音识别、语义理解、语音合成、智能对话的全链路语音技术。
△ 顺丰「小丰」耳机
基于自家的 DUI 开放平台,思必驰提供了与场景匹配的对话、技能定制服务,包括耳机端与手机 APP 内容的完整对接,从而实现打电话、接收订单提醒、快件拦截通知等功能。
△ 顺丰「小丰」耳机应用了思必驰的低功耗解决方案
过去繁琐的操作,如今都可以实时在线同步完成,收派员的操作体验和工作效率大大提升了。这样一来,过去通用型蓝牙耳机在该场景中「智能不足」的短板,得到了解决。
新技术在随行场景之外的应用空间有多大?
类似的,思必驰低功耗算法同样能够应用在旅游场景中,比如智能导游,设备可以根据当地景点自动播放背景介绍。此外,在翻译和运动场景,也会有广阔的应用空间。
刘洪彬向深圳湾透露:在这些细分领域和应用场景上,思必驰均已寻求到行业客户,一起打磨产品体验,以及新技术的探索与研究。软硬一体的解决方案,加速低功耗产品的落地与研发周期。
那么,在随行场景之外,还有哪些应用空间呢?思必驰 CMO 龙梦竹表示:随着客户认可度越来越高,这一技术有望被应用在智能家居中的智能冰箱、空调等,尤其是进入井喷式增长阶段的 AI 电视。
△ 长虹 CHiQ 人工智能空调搭载思必驰为其打造的个性化技术方案,可听声识人
作为 IoT 的中心设备,AI 电视因智能语音的加持,目前存在着普遍高功耗的问题。这必定是一个需要改进的方向,而低功耗算法就是最契合的解决方案,龙梦竹进一步指出。 在资源服务上,除自身后端资源合作之外,思必驰还打通多家智能家居平台,可实现多设备的互联互通。
这不禁让我们眼前一亮。新技术的出现从来就不应该止于实验室或专利发布,而是应该落地于我们老百姓的日常。今天,我们看到了 OPPO Reno 华丽丽的秀出了它的 Jarvis 的新本领,未来,它还会更加闪亮。■
微信号:shenzhenware
主笔:莱恩 / 深圳湾
审校:陈壹零 / 深圳湾
/////////////
左右滑动,查看更多精彩
WARE 2019 新硬件峰会
4 月 20 日,坐标深圳
洞悉新硬件行业风向标
即将震撼来袭!
快到「湾」里来
深圳湾正在招聘:
真知灼见的科技记者
四通八达的运营编辑
才华横溢的市场策划
技能爆表的活动运营
热情四射的社区达人
简历传送门:
Lynn@shenzhenware.com
● ● ●
深圳湾(公众号 ID:shenzhenware)连接全球硬件创新者,连接硬件生态链上下游,连接跨界产品的设计、技术、生产、渠道、商业、创新。深圳湾持续关注「AI+硬件」带来的场景和交互创新,以及与平台和应用相连的全产业链升级,欢迎相关团队与我们联系,微信私人客服:小炫(ID:warexx)。